#inferencia de llms

KnapSpec: Decodificación Especulativa con Selección Adaptativa de Capas

KnapSpec acelera inferencia LLMs hasta 1.47x sin entrenamiento. Selecciona capas adaptativas como problema mochila. Optimiza rendimiento en secuencias.